1
高度な生成型AIの生態系
PolyU COMP5511Lesson 11
00:00

生態系の 高度な生成型AI は、孤立したモノリシックなモデルから、 複合型AIシステム多層的なエコシステムへと進化しました。この変化は、単純な確率的トークン予測から、基礎モデル(FMs)、モジュール型プラグイン、クロスモーダル合成を調整するシステムへの移行です。

コンピューティング/クラウドインフラLLMsディフュージョン音声/コードオーケストレーション&エージェント層

生成型スタックの分類

  • インフラ層:トレーニングおよび高速推論に必要な巨大な計算能力を提供するハードウェア基盤(GPU/TPU)とクラウドサービス。
  • モデル層:テキスト、画像、音声など異なるモダリティ用の専門エンジンとして機能する基礎モデル(FMs)、例:GPT-4、Llama 3、Stable Diffusion。
  • オーケストレーション層:ロジック、データフロー、取得を管理するフレームワークで、モデルを「凍結」された重みから リアルタイムの文脈認識を持つシステムへと移行します。

モダリティの統合

技術的なトレンドは、主にトランスフォーマーとディフュージョンモデルを統合し、共有される潜在空間を可能にする点に注目しています。これにより、テキスト、画像、動画が連続する情報ストリームとして扱える単一の統合インターフェースが実現され、数学的に異なる潜在マニホールド $M_{text} \leftrightarrow M_{visual}$ の間のマッピングとして表現されます。

構造的進化
我々は、学習データパラメータ $\theta$ にのみ依存する「閉じた本」モデルから、「外部環境状態 $E$ を使用して $P(y|x, E)$ を通じて複雑な推論タスクを解決する」『開かれた本』システムへと移行しています。
Python実装